Hán An Đế Lưu Hỗ là con của Thanh Hà Hiếu vương Lưu Khánh - con trưởng của Hán Chương Đế và là anh ruột Hán Hòa Đế. Như vậy, Hán An Đế là cháu gọi Hán Hòa Đế bằng chú ruột và là cháu nội của Hán Chương Đế. Ông sinh ra vào năm 94 tại nước Thanh Hà (清河; nay là Thanh Hà, Hà Bắc), mẹ là Tả Tiểu Nga (左小娥).

Lưu Khánh đã từng được lập làm Thái tử thời Chương Đế, nhưng do mẹ ông là Tống quý nhân bị Đậu hoàng hậu ám hại, khiến ông bị liên lụy và bị phế truất. Sau đó, Lưu Khánh đã tác động đến Hòa Đế, khiến ông phát động chính biến diệt trừ phe cánh họ Đậu.

Tả Tiểu Nga trước đây cùng chị là Tả Đại Nga (左大娥) bị đưa vào cung làm nô tỳ do người cậu của hai người là Tả Thánh (左聖) bị tội đại nghịch. Khi lớn lên, hai chị em họ Tả ngày càng nổi tiếng vì xinh đẹp và sự uyên bác trong thơ ca, văn chương nên trở thành các cung nữ phục vụ trong cung của Hòa Đế. Khi Thanh Hà Hiếu vương được Hòa Đế đang muốn ban tặng vài cung nhân cho ông vì công lao trừ ngoại thích, ông đã nghe danh hai chị em họ Tả nên khẩn cầu và Hòa Đế đã chấp thuận. Hai chị em họ tả đều chết vào lúc nào không rõ nhưng được xác định là trước khi Hán Hòa Đế băng hà vào năm 106 và được chôn cất ở Lạc Dương. Sau khi Tả thị qua đời, Lưu Hỗ được chính thất của Hiếu vương là Cảnh phu nhân nuôi lớn.

Sau khi Hán Hòa Đế băng hà, Đặng thái hậu lập con thứ của ông là Lưu Long làm Đế, tức Hán Thương Đế mà không lập con trường là Bình Nguyên vương Lưu Thắng (劉勝) vì cho rằng ông này bệnh tật, không thể kế vị. Các hoàng thân quốc thích, kể của Thanh Hà vương Lưu Khánh bị buộc phải trở về đất phong của mình, nhưng Đặng Thái hậu lại giữ Lưu Hỗ lúc đó 12 tuổi và Cảnh phu nhân ở lại để trừ việc bất trắc xảy ra.

Sau đó không lâu Thương Đế qua đời, triều thần kiến nghị lập Bình Nguyên vương Lưu Thắng nhưng Đặng thái hậu lại lập Lưu Hỗ, tức là Hán An Đế. Khi lên ngôi ông mới 12 tuổi. Đặng Thái hậu vẫn nắm giữ quyền lực.